בנם של עליזה ומשה. נולד במרוקו.

כאשר יוסף היה בן ארבע-עשרה הוא עלה ארצה עם אחיו במסגרת "עליית הנוער". יחד איתו עלתה לארץ גם דורית חברתו, לימים אשתו. השניים לא הסכימו להיפרד ולמדו ביחד במוסד של "עליית הנוער" בסג'רה.

לאחר שסיים את לימודיו יוסף התגייס לצה"ל ושירת בנח"ל בהיאחזות "נחושה". גם דורית שירתה לצדו בנח"ל.

כאשר השתחרר מהצבא, יוסף נקרא למושב שדה יעקב בעמק יזרעאל כדי לנהל שם את המוסך.

כעבור שנה, עבר להתגורר בקריית גת בקרבת הוריו שעלו לארץ. בתקופה זו הוא נשא לאישה את דורית והשניים הקימו משפחה ונולדו להם שני ילדים.

יוסף עבד בבית החרושת לאריגה "אגדין" בקריית גת. בשנת 1960 המפעל פשט את הרגל ועובדיו ניסו להפוך אותו לקואופרטיב, אך הדבר לא עלה בידם.

כעבור כשנה, כאשר הוקם מפעל "פולגת" בקריית גת, יוסף התקבל לעבוד בו. עד מהרה בלט בחריצותו ובמרצו ומונה למנהל האחזקה של מכונות האריגה במפעל.

במשך הזמן הוא התקדם בעבודתו ובזכות הישגיו נשלח לשוויץ להשתתף בקורס בינלאומי למכונות אריגה חדישות, שממנו חזר עם תעודת הצטיינות.

במלחמת ששת הימים ביוני 1967 יוסף התגייס למילואים ושירת כמפקד צוות מרגמות כבדות בכוחות החוד שפרצו את המתחמים המצריים. עם הפסקת הקרבות הגיע עם יחידתו לגדות תעלת סואץ, לאזור הביצות בראס אל עייש.

ב-8.7.1967, במהלך התקפה שנמשכה כל שעות היום על הכוח שהוא נמנה עימו, נפצעו יוסף וחבריו פצעים אנושים. יוסף סירב להיחבש ודרש שקודם יחבשו את חבריו ויפנו אותם לעורף, ורק לאחר מכן הסכים לקבל טיפול. עד שפונה, הוא המשיך להפעיל את המרגמות ועל מעשה גבורה זה מפקד חטיבתו המליץ שיקבל צל"ש.

במשך כשבעה חודשים יוסף החזיק מעמד בפציעתו הקשה ואף חזר לעבודתו במפעל כאשר ידו הימנית משותקת, אולם ביום 5.2.1968 כוחו לא עמד לו והוא נפטר.

יוסף בן דוד נפטר ביום ו' בשבט תשכ"ח (5.2.1968). בן עשרים ותשע בפטירתו. הוא הובא למנוחת עולמים בבית העלמין הצבאי בקריית גת. הותיר אחריו אישה ושני ילדים.

לזכרו של יוסף, בית הספר ללימוד אריגה בתשלובת "פולגת" נקרא על שמו.

יוסף מונצח באנדרטת חללי קריית גת, באנדרטה בכפר הנוער הודיות ובאתר ההנצחה של חיל השריון בלטרון.